クラスメソッドのデータ分析統合基盤サービス『CSアナリティクス』関連ブログ テーマ別総まとめ #データ統合基盤 #CSアナリティクス
当エントリは『クラスメソッド CSアナリティクス Advent Calendar 2020』25日目のエントリです。
- クラスメソッド CSアナリティクス Advent Calendar 2020 - Qiita
- クラスメソッド CSアナリティクス Advent Calendar 2020 | 特集カテゴリー | Developers.IO
- ビッグデータ分析支援のカスタマーストーリーアナリティクス|クラスメソッド|クラスメソッドのサービス
当エントリでは、クラスメソッドが展開しているデータ統合基盤サービス『CSアナリティクス』(以降"CSA")に関するブログエントリを(今回のアドベントカレンダーで投稿したものを含めて)テーマ別に整理した『総まとめ』的なをお届けしたいと思います。
※CSアナリティクスに関するブログエントリをまとめて読める一覧はこちらです↓
目次
CSアナリティクス概要
そもそも『CSアナリティクスとは何ぞや』というところを解説している、概要的なブログは以下となります。
製品・サービスページとして展開しているコンテンツは以下となります。
CSA JMC(Job Management Console)
2020年08月にリリースされたバージョン5のCSアナリティクス(CSA JMC)では、対象データウェアハウスがAmazon Redshift/Google BigQuery/Snowflakeから選択出来るようになりました。サイトを複数用意することで、1つのシステムで複数データウェアハウスを扱うことも可能です。
CSA x Amazon Redshift連携
CSアナリティクスでは、サービス開始当初からAmazon Redshift連携を謳って来ていましたが、CSA JMC最新バージョン5では更に使いやすくなっています。
CSアナリティクスとAmazon Redshiftの連携に関するブログエントリは、下記の特集カテゴリで読む事が出来ます。
現在投稿している関連エントリは以下の通り。
- DWHへのデータ取り込み・ジョブ管理をサポートする「CSA JMC」でRedshift連携を行うための設定手順 #データ統合基盤 #CSアナリティクス | Developers.IO
- CSA JMCで実践!テーブル作成(Amazon Redshift環境でのテーブル作成をコード記述無しで行う) #データ統合基盤 #CSアナリティクス | Developers.IO
- CSA JMCで実践!データ連携 〜Amazon Redshift環境でのデータ取り込み(COPY)処理をコード記述無しで行う〜 #データ統合基盤 #CSアナリティクス | Developers.IO
- CSA JMCでAmazon Redshift環境に対してSQL実行を行う #データ統合基盤 #CSアナリティクス | Developers.IO
- CSA JMCでAmazon Redshift環境に対してPythonプログラム実行を行う #データ統合基盤 #CSアナリティクス | Developers.IO
- CSA JMCで『変数』を活用した処理を行う #データ統合基盤 #CSアナリティクス | Developers.IO
CSA x Google BigQuery連携
2020年08月にリリースされたCSA JMCのバージョン5では、従来のAmazon Redshift連携に加えて『Google BigQuery』との連携も出来るようになっています。
CSアナリティクスとGoogle BigQueryの連携に関するブログエントリは、下記の特集カテゴリで読む事が出来ます。
現在投稿している関連エントリは以下の通り。
- 【データ統合基盤 CS アナリティクス】 BigQuery はじめました! ~CSA JMCでBigQuery連携を行うための設定手順~ | Developers.IO
- データ統合基盤 CS アナリティクスで BigQuery にデータを差分ロードしてみた | Developers.IO
- データ統合基盤 CS アナリティクスで Google Cloud クライアントライブラリを使用した Python プログラムを実行してみる | Developers.IO
- BigQuery のデータを「データ統合基盤 CS アナリティクス」を使って Google Cloud Storage にエクスポート | Developers.IO
- BigQuery に日時データをロードすると UTC に変換されてしまう問題に「データ統合基盤 CS アナリティクス」で対応する | Developers.IO
CSA x Snowflake連携
2020年08月にリリースされたCSA JMCのバージョン5では、従来のAmazon Redshift連携に加えて『Snowflake』との連携も出来るようになっています。
CSアナリティクスとGoogle BigQueryの連携に関するブログエントリは、下記の特集カテゴリで読む事が出来ます。
現在投稿している関連エントリは以下の通り。
- データ分析基盤「カスタマーストーリー アナリティクス」がSnowflakeに対応しました! ~CSA JMCでSnowflake連携を行うための設定手順~ | Developers.IO
- データ統合基盤 CS アナリティクスで Snowflake にSQLクエリを実行してみた | Developers.IO
- データ統合基盤 CS アナリティクスで Snowflake へのSQLクエリ実行時にUSEコマンドを利用してみた | Developers.IO
- S3データのSnowflake取り込み(テーブル作成からデータ連携まで)処理自動化を「データ統合基盤 CS アナリティクス」で行う | Developers.IO
- Snowflakeの外部ステージ設定が『データ統合基盤 CSアナリティクス』を使うと簡単&自動で設定出来るようになります! | Developers.IO
- ジョブの実行時に利用するSnowflakeのロールが指定できるようになりました #データ統合基盤 #CSアナリティクス | Developers.IO
CSA Data Uploader
クラウドストレージへのファイルアップロードをサポートする『CSA Data Uploader』についてもブログ記事を投稿しています。概要的な内容については下記エントリ群にまとめています。
現在投稿している関連エントリは以下の通り。
- クラウドストレージへのスムーズなファイル連携に対応!『Data Uploader』をLinux環境に導入する #データ統合基盤 #CSアナリティクス | Developers.IO
- 『Data Uploader』ではツール1つで複数クラウドストレージ・アカウントへのファイルアップロードが可能です #データ統合基盤 #CSアナリティクス | Developers.IO
製品・サービスページとして展開しているコンテンツは以下となります。
入力データソース定義
CSA Data Uploaderで定義・指定可能な『入力データソース』に関するエントリは以下の通り。
- クラウドストレージへのファイルアップロード&ETLツール『Data Uploader』の入力にローカル環境のファイルを指定する #データ統合基盤 #CSアナリティクス | Developers.IO
- クラウドストレージへのファイルアップロード&ETLツール『Data Uploader』の入力にSFTP環境のファイルを指定する #データ統合基盤 #CSアナリティクス | Developers.IO
- クラウドストレージへのファイルアップロード&ETLツール『Data Uploader』の入力にAmazon S3環境のファイルを指定する #データ統合基盤 #CSアナリティクス | Developers.IO
- クラウドストレージへのファイルアップロード&ETLツール『Data Uploader』の入力にGoogle Cloud Storage(GCS)環境のファイルを指定する #データ統合基盤 #CSアナリティクス | Developers.IO
- クラウドストレージへのファイルアップロード&ETLツール『Data Uploader』の入力にAzure Blob Storage(Beta)環境のファイルを指定する #データ統合基盤 #CSアナリティクス | Developers.IO
- クラウドストレージへのファイルアップロード&ETLツール『Data Uploader』の入力にODBC接続データを指定する #データ統合基盤 #CSアナリティクス | Developers.IO
変換処理
CSA Data Uploaderで定義・指定可能な『変換処理』に関するエントリは以下の通り。
- クラウドストレージへのファイルアップロード&ETLツール『Data Uploader』の入力にODBC接続データを指定する #データ統合基盤 #CSアナリティクス | Developers.IO
- クラウドストレージへのファイルアップロード&ETLツール『Data Uploader』の変換処理で出来ること(行操作編) #データ統合基盤 #CSアナリティクス | Developers.IO
- クラウドストレージへのファイルアップロード&ETLツール『Data Uploader』の変換処理で出来ること(行操作編) #データ統合基盤 #CSアナリティクス | Developers.IO
出力データソース定義
CSA Data Uploaderで定義・指定可能な『出力データソース』に関するエントリは以下の通り。
- クラウドストレージへのファイルアップロード&ETLツール『Data Uploader』の出力にAmazon S3を指定する #データ統合基盤 #CSアナリティクス | Developers.IO
- CSA Data UploaderがAmazon S3に加えてGoogle Cloud Storageへのファイルアップロードに対応しました! #CSアナリティクス #データ統合基盤 | Developers.IO
JMC連携
CSA Data UploaderからCSA JMCに処理を連携させることが可能です。解説エントリは下記。
実践!CSA Data Uploader
CSA Data Uploaderで実際に処理設定を実践してみたエントリは以下の通り。
- 『Data Uploader』で実践!データアップロードジョブ(MySQLのデータを抽出→変換処理→Amazon S3にアップロード) #データ統合基盤 #CSアナリティクス | Developers.IO
- 『Data Uploader』で実践!ファイルアップロード(Windowsローカル環境下の動画ファイルをAmazon S3にアップロード) #データ統合基盤 #CSアナリティクス | Developers.IO
- 『Data Uploader』で実践!任意のプログラムを指定して実行 #データ統合基盤 #CSアナリティクス | Developers.IO
- 『Data Uploader』で実践!複数のジョブをまとめて実行 #データ統合基盤 #CSアナリティクス | Developers.IO
- 『Data Uploader』で指定可能な実行スケジュールサイクルについて #データ統合基盤 #CSアナリティクス | Developers.IO
イベント
CSアナリティクスのイベントは、ウェビナー形式で開催されているものがあります。
- 【6/25(木)ウェビナー】「今からはじめるAWSを活用したデータ分析統合基盤」を開催します | Developers.IO
- 【9/29(火)ウェビナー】「60分で分かる!各データウェアハウス特徴とユースケース~Redshift、BigQuery、Snowflake~」を開催します | Developers.IO
事例
CSアナリティクス関連の事例としては、2020年11月に行われた『Developers.IO Showcase』にて、DECENCIA様にCSアナリティクス活用事例を発表頂いたものがレポートブログとして公開されています。
その他CSアナリティクスの導入・活用事例に関しては、下記製品ページにも展開されています。
まとめ
という訳で、『クラスメソッド CSアナリティクス Advent Calendar 2020』25本目のエントリ、「CSA JMC(Job Management Console)」でプログラムを実行する際の手順に関する内容の紹介でした。CSアナリティクスに関するブログエントリは今後も定期的に公開・アウトプットしていきますので、今後共よろしくお願い致します!
CSA Data Uploaderは1ヶ月間のトライアル利用が可能となっています。興味をお持ち頂いた方は是非無料版ダウンロードページからインストーラを入手頂き、お試し頂けますと幸いです。また、CSA JMCに関しても下記バナーから製品ページにアクセスする事が出来ます。是非御覧ください。